我们考虑在严重数据稀缺下具有异质代理的离线强化学习（RL），即，我们只观察一个未知潜在的次优政策下的每个代理的单一历史轨迹。我们发现，即使对于常见的“解决”基准设置（如“Makescar”和“Cartpole”），我们发现最先进的离线和基于模型的RL方法的性能显着降低了显着的数据可用性。为了解决这一挑战，我们提出了一种基于模型的离线RL方法，该方法首先通过在学习政策之前共同使用所有代理商的历史轨迹来学习每个代理的个性化模拟器。我们这样做是这样做的，指出代理商的过渡动态可以表示为与代理商，州和行动相关的潜在因子的潜在函数;随后，理论上，理论上建立了这种函数通过可分离代理，状态和动作潜在函数的“低级”分解良好地近似。此表示表明，一个简单的正则化的神经网络架构，以有效地学习每个代理的过渡动态，即使具有稀缺，离线数据。我们在多个基准环境和RL方法中执行大量实验。我们的方法的一致性提高，在国家动态预测和最终奖励方面衡量，确认了我们框架在利用有限的历史数据方面的效力，以同时学习跨代理商的个性化政策。
translated by 谷歌翻译